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МЕТНОР5З ОК АРРІЛЕРр ОТП І/АТІОХ ОК СЕХЕКАТТУЕ 
АРУЕВЗАКІАІ, ХЕТУОБКЗ ІХ СВАРНІС РАТА РКОСЕЗ55ІХС 


Анотація. У доповіді досліджується важлива область штучного інтелекту -- генеративні змагальні 
мережі (ГЗМ), які використовуються для створення високоякісних штучних зразків даних. ГЗМ зазнали 
значного розвитку та застосування в різних секторах, включаючи обробку графічних даних. В доповіді 
зосереджено увагу на прикладному використанні ГЗМ та їхній архітектурі. Розглянуті базові принципи 
функціонування ГЗМ, висвітлюються переваги та недоліки, включаючи проблеми з навчанням, зникаючі 
градієнти та конвергентні осциляції, і описуються заходи для подолання цих проблем. Також розглядаються 
сучасні дослідження в галузі ГЗМ та їхнє застосування у різних галузях, включаючи кібербезпеку, медицину, 
криміналістику та комп'ютерний зір. Висвітлено практичні результати авторів доповіді щодо власних 
експериментів з ГЗМ, їх оптимізації та вдосконалення архітектури. Мета дослідження полягає в аналізі 
архітектурних особливостей ГЗМ з метою покращення процесу їх навчання. 


Ключові слова: штучний інтелект, глибоке навчання, нейронні мережі, генеративні змагальні мережі, 
обробка зображень. 
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Вступ змінивши підхід до різних областей, від 
Генеративні змагальні мережі (ГЗМ) комп'ютерного бачення до обробки 
П| стали трансформаційною силою в природної мови |2, 3|. Їх здатність 
царині генеративного штучного інтелекту, створювати штучні зразки, які імітують 
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реальний розподіл даних, вплинула на 
інновації та широке застосування в різних 


секторах. Однією з зд ключових сфер 
застосування ГЗМ сьогодні є обробка 
графічних даних (2). 

Спектр застосування  ГЗМ має 


широкий діапазон, що включає генерацію 
фотореалістичних зображень, створення 
нових хімічних молекул і матеріалів, 
покращення інструментальних 
телескопічних знімків, синтез 
біометричних даних, збільшення 
роздільної здатності фотографій, 
створення | і виявлення шкідливого 
програмного забезпечення, а також 
виявлення аномалій в з різноманітних 
прикладних галузях (кібербезпека, 
медицина, зміни клімату, природні науки 
тощо) |З, 4. 

Фокус даної доповіді сконцентровано 
на обробці графічних даних, 
зосереджуючись саме на прикладному 
аспекті використання ГЗМ. 


Базис ГЗМ 
ГЗМ  -- архітектура глибокого 
навчання, яка характеризуються 


змагальним підходом до шнавчання т7та 


Реальні 
дані 


| 


Зразок 


(х) 
| 


Генератор 


(б) 


Випадко- 
вий шум (2) 


здатністю до генералізації можливостей 
через трансферне навчання (11. 

ГЗМ здатні генерувати високоякісні 
штучні зразки, які | можуть бути 
використані як додаткові навчальні дані 
для інших систем штучного інтелекту, 
наприклад, | нейронних мереж, що 
вирішують завдання бінарної класифікації, 
сегментації або прогнозування. Додаткові 
навчальні дані здатні підвищити точність 
існуючих моделей. 

ГЗМ функціонують шляхом навчання 
двох нейронних мереж: генератора та 
дискримінатора. | Генератор | приймає 
вектор випадкового шуму як вхідні дані та 
продукує синтетичну вибірку, яка нагадує 
реальні дані (11. 

Дискримінатор приймає як реальні, 
так 1 синтетичні зразки як вхідні дані та 
ідентифікує їх (підробка чи реальні дані). 
Дві шммережі | «грають» у змагальний 
навчальний процес, схожий на гру, коли 
генератор намагається змусити 
дискримінатор «повірити», що його 
синтетичні зразки є «справжніми», а 
дискримінатор намагається точно 
ідентифікувати справжні та підроблені 
зразки (рисунок 1). 


Реальні 


Дискри- 


мінатор 


(0) 0 


Синтезовані 


Результат дискримінатора 


Рис. 1. Структура ГЗМ 


Переваги і недоліки ГЗМ 

Суттєвою перевагою ГЗМ є те, що 
вони не вимагають явного моделювання 
розподілу ймовірностей реальних даних. 
Це робить цей тип нейронних мереж 
придатним для генерації багатовимірних, 
складних даних, таких як зображення та 
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фотографії 15). 

Незважаючи на загальну 
ефективність, процес навчання ГЗМ може 
бути важкою задачею і вимагати 
ретельного тонкого налаштування 
гіперпараметрів моделі (б). 

Крім того, ГЗМ можуть страждати 
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від колапсу режиму, коли генератор 
виробляє лише обмежений набір зразків, 
які не в змозі охопити різноманітність 
спектру реальних даних |7). 

Ще однією проблемою є зникаючі 
градієнти, що можуть виникати, коли 
дискримінатор стає занадто ефективним у 
розрізненні | справжніх зразків | від 
підроблених, що призводить до труднощів 
для навчання генератора |5). 

Певні конвергентні осциляції можуть 
також виникати, коли генератор |і 
дискримінатор - застрягають у контурі 
зворотного зв'язку і не можуть знайти 
оптимальне рішення. 

Оцінка показників продуктивності 
ГЗМ також може бути трудомісткою, 
оскільки немає абсолютно чіткої метрики 
для вимірювання якості згенерованих 
зразків |81. 

Для вирішення цих проблем зараз 
застосовуються різні методи, включаючи 
використання різних функцій втрат, 
методів оптимізації,  регуляризації та 
варіативність архітектур |6|. Нижче будуть 
наведені приклади власних результатів 
авторів доповіді щодо практичної 
імплементації цих методів. 


Сучасні дослідження в галузі ГЗМ 

Окрім загальновідомих сфер засто- 
сування ГЗМ, таких як наука, інтерактивні 
медіа, реклама, відеоігри, сьогодні даний 
тип штучних нейронних мереж знаходить 
широке застосування і в інших практичних 
царинах, як от: кібербезпека, аудіосинтез, 
трансферне навчання, медицина, 
криміналістика, 3Ю-моделювання, 
виробництво нових ліків та інше |З, 9). 

ГЗМ також відіграють важливу роль 
у дослідженнях у галузі комп'ютерного 
зору. Вони можуть суттєво поліпшувати 


зображення, отримані  телескопами та 
розвідувальними | дронами, а також 
використовувати методи для виправлення 
розмитості, заповнення пробілів | та 
підвищення роздільної 0 здатності. Це 
призводить | до значного покращення 


результатів існуючих систем глибинного 
навчання, розширюючи їхні можливості та 
підвищуючи точність обробки зображень 


31. 
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Усе це свідчить про значущий вплив 
глибокого навчання та ГЗМ на різні галузі 
та наголошує їхню роль у розвитку 
сучасного технологічного світу. 

Метою дослідження є аналіз 
архітектурних особливостей ГЗМ з метою 
навчання, що на сьогодні є найбільшою 
проблемою цього | типу | штучних 
нейронних мереж. 


Експериментальні результати ГЗМ 
З | метою оптимізації стратегії 
проєктування ГЗМ, яка 6 забезпечила 
більш стабільне 1 ефективне навчання з 


метою покращення точності моделей, 
авторами було проведено ряд 
експериментів по вдосконаленню 
архітектури ГЗМ. 


Конвенційна ГЗМ (англ. Уапійа САМ) 
ПО). Перша спроєктована модель була 
створена з метою синтезу реалістичних 
зображень, схожих на зразки з набору 
даних ММІ5Т ПІ1|, який складається з 
рукописних цифр. Щоб досягти цього, 
автори імплементували кілька методів і 
технік оптимізації. Застосували функції 


активації  ГеакуВе| 0),  бінарну  крос- 
ентропійну функцію втрати та 
одностороннє згладжування міток для 
стабілізації | навчання. Використання 
згладжування міток передбачає 
призначення цільового значення 0,9 
реальним зображенням замість 
радикального | 1, що може зробити 


навчання дискримінатора більш надійним. 
Ми також використали оптимізатор Адам з 
низькою швидкістю навчання та включили 
шум як вхідні дані для генератора для 
поступового генерування зображень. Крім 
того, ми реалізували функцію візуалізації 
для моніторингу прогресу навчання та 
якості згенерованих зразків. Таким чином 
було проведено як параметричну, так і 
структурну оптимізацію. 

Ми мали на меті навчити модель 
створювати реалістичні зображення, схожі 
на рукописні зразки ММІ8Т. Наш підхід 
передбачав вибір архітектури, 
нормалізацію, функції активації, функції 
втрат, згладжування міток і методи 
оптимізації для підвищення стабільності 
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навчання та якості зображення, що в 
кінцевому підсумку спрацювало на 
досягнення головної мети -- створення 
високоякісних синтетичних зображень 
ПОЇ. 

Результати експерименту З 
конвенційною архітектурою 
представлені на рисунку І. 


4 р Ру бо о ост 

точ СОС ма оп з об З. 

- Зм со До. 
уч оф ко чо 


Рис. 2. Зразки, згенеровані ГЗМ після навчання на 
наборі даних ММІЗ8Т 


Глибока | згорткова | ІЗМ (англ. 
РССАМ) для синтезу біометричних зразків 
відбитків пальців |12|. Друга модель була 
спроєктована | з | метою синтетичного 
відтворення фотореалістичних зображень 
відбитків пальців, які б за спектром 
властивостей відповідали реальним 
біометричним даним. 

У рамках даного експерименту були 
використані різні техніки оптимізації для 


досягнення найкращого результату в 
генерації зображень. 

Ми  спроєктували архітектуру з 
використанням  згорткових нейронних 


мереж. Генератор | був створений з 
послідовності транспонованих згорткових 
шарів з функцією активації Кер.) та Вар 
МогтаПпганоп для стабільності. 
Дискримінатор також мав згорткові шари з 
функцією активації Іеакукеї, ) та Вакрі 
МогтаПлацоп. 

Також було застосовано  бінарну 
крос-ентропійну функцію втрати. Крім 
того, були використані різні швидкості 
навчання окремо для мереж генератора 1 
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дискримінатора для оптимізації навчання. 
Процес включав у себе аналіз та 


моніторинг навчання, включаючи 
відстеження втрат та періодичне 
збереження згенерованих зображень для 
візуалізації. | Також було використано 
ініціалізацію | ваг для покращення 


стабільності навчання. 


Рис. 3. Згенеровані результати ОССАМ після 
1000-го навчального циклу 


Важливість методу полягає у тому, 
що він частково розв'язує проблему 
обмежень використання реальних 
відбитків пальців для навчання глибоких 
нейронних мереж. Реальна біометрична 
інформація належить до особистих даних і 
може мати обмеження у використанні, що 
пов'язано з конфіденційною природою цих 
даних. Штучно створені зображення 
відбитків пальців | не | мають таких 
обмежень і можуть бути використані в 
дослідженнях та прикладних аспектах, 
таких як біологічні дослідження, судова 


експертиза, технологічні методи 
біометричної безпеки (13). Розроблена 
глибока згорткова модель 
продемонструвала потенціал щодо 


здатності генерувати реалістичні відбитки 
пальців. 

ГЗМ з покращеною здатністю для 
збільшення роздільної здатності (англ. 
ЕУ5КСАМ) (14). При проєктуванні власної 
мобільної модифікації ГЗМ для 
збільшення роздільної здатності автори 
використали архітектуру  ЕЗКСАМ із 
попередньо навченими ваговими 
коефіцієнтами та змінними параметрами 
інтерполяції, що забезпечило плавне 
керування та точніше налаштування 
моделі нейронної мережі. 

Як Вепсптагк автори використали 
два різні набори даних у вільному доступі: 

а) 5ЗоКоїо Соуепіту Еіпеегргіпі Даказеї 
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(5ОСОБіпє) -- біометрична база даних 
відбитків пальців, яка містить 6000 
дактилограм; цей набір даних також 


підходить для інших завдань, пов'язаних із 
глибинним навчанням |15|; 

6) набір | даних | ВІВЮ5 400, 
розроблений спеціально для класифікації 
зображень видів птахів | 16). 


Автори підготували | зображення 
низької роздільної здатності для подальшої 
обробки на моделі та збільшення 


роздільної здатності оригінальних зразків 
у чотири рази без втрати якості. 

Розмір усіх тестових зразків було 
змінено до  96Х96 пікселів (вибране 
випадковим чином значення) і перетворено 
у формат РМС за допомогою бібліотеки 
Руфоп -- РП. Задачею було збільшити 
роздільну здатність цих 
експериментальних зразків у 4 рази, тому 
роздільна здатність кінцевого зображення 
мала бути 384Х3584 пікселя. Після обробки 
обраних наборів зображень за моделлю 
автори отримали очікувані результати. 

Спочатку було застосовано модель до 
зразків відбитків пальців. Ось як зразки 
виглядали до 96Х96 
пікселів, рис. 4. 


покращення в 


Рис. 4. Зразки 5ОСОВБІпе перед обробкою, 96Х96 
пікселів 


А ось як виглядають зразки після 
збільшення моделлю в 4 рази, до 384Х384, 
рис. 5. 


Рис. 5. Зразки ЗОСОНІпе після обробки 


Нижче наведені результати обробки 
зразків зображень із набору даних ВІВО5 
400, рис. 6 і рис. 7 відповідно. Як ми 
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бачимо, зразки були успішно збільшені до 
334Х384 | пікселів | із | збереженням 
максимальної якості зображення. 


Рис. 6. Зразок набору даних ВІКІ5 400 перед 
обробкою, 96Х96 пікселів 


Рис. 7. Зразки набору даних ВІВО5 400 після 
обробки, 384Х384 та 96Х96 пікселів 


Експеримент продемонстрував, що 
модель на основі ГЗМ з коректно 
налаштованою архітектурою та функцією 
втрат здатна значно збільшити роздільну 
здатність обробленого зображення, 
зберігаючи при цьому якість 1 стабільну 
графічну структуру 1141. 

ІЗМ для виявлення аномалій |17). 
Автори статті також розробили концепцію 
застосування ГЗМ для виявлення аномалій 
у графічних даних із застосуванням 
нечіткої логіки (нечітких множин) і 
лінгвістичних термів для більш ефективної 
фіксації атипових розподілів даних. 

Для експериментального дослідження 
(ргоої ої сопсері) також було використано 
набір даних ММІ5Т. Була розроблена 


модель на базі конвенційної ГЗМ з 
використанням | середньої | абсолютної 
похибки як інструменту виявлення 


аномалій, а також з додаванням нечіткого 
класифікатора з виявлених аномалій по 
лінгвістичним | термам низький, 
середній, високий, для більш ефективного 
візуального представлення результатів. 
Збудована система | продемонструвала 
здатність розрізняти аномалії в графічних 
даних (рисунки 8 та 9). 

В якості «нормальних» даних були 
обрані усі зразки, що містили цифру «1», а 
всі інші цифри були визначені як 
аномальні. Модель вірно класифікувала 
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більшість зразків із точністю 9590. 


01 0.2 


оз 


ШИ норма 
ШИЮ аномалія 


04 0.5 0.6 


Рис. 8. Розподіл балів аномалії 


1.0 чом 
-ч-тто Медїйт 
чо НідОС 
Фе о 5соге: 0.34, Сагедогу: Медійт 
0.8 Фе  5соге: 0.35, Сагедогу: Медїцт 
Фе  5соге: 0.24, Сагедогу: Медїцт 
Фе  5соге: 0.38, Сагедогу: Медіит 
Ф Фе 5соге: 0.31, Сагедогу: Медїцт 
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о Фе  5соге: 0.27, Сахедогу: Меаїцт 
Е Фе  5соге: 0.24, Сагедогу: Медаїцт 
РА Фе  5соге: 0.37, Сагедогу: Медіит 
В 04 Фе  5соге: 0.28, Сахедогу: Меаїцт 
5 
02 
00 
0.0 0.2 0.4 0.6 0.8 1.0 
Апотаїу 5соге 
Рис. 9. Нечітка оцінка 
Розглянута система виявлення генералізації. Крім того, є проблеми 
аномалій є перспективною, але, тим не масштабованості даних, чутливості до 
менш, має певні недоліки та потребує шуму, а також обмеження у виявленні 
вдосконалення.  ГЗМ значною мірою нових аномалій (17). Усунення цих 
залежать від різноманітності аномалій у обмежень вимагатиме подальших 
навчальних даних та збалансованості досліджень, удосконалення моделі та 
даних; якщо різноманітності та індивідуальної адаптації для конкретних 


збалансованості бракує, це може негативно 
відобразитись на здатності системи до 
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застосувань. 
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Висновки 
ГЗМ продемонстрували свою 
здатність до високоякісної обробки і 


генерації графічних даних. Крім того, їх 
архітектурна особливість дозволяє 
виходити за рамки лише генеративних 
функцій моделі та застосовувати ГЗМ у 
незвичних | задачах, як, наприклад, 
виявлення аномалій. 

Також цей тип нейронних мереж має 
потенціал У широкому спектрі 
застосування в природничих науках і 
технологічних розробках. 

Попри свою ефективність, ГЗМ все 
ще мають недоліки, найсуттєвішим з яких 
є трудомісткість процесу навчання і 


процес налаштування  гіперпараметрів. 
Саме цей м аспект  ГЗМ представляє 
найбільший інтерес для досліджень, 
оскільки | розв'язання цієї | проблеми 
потенційно може сильно підвищити 
можливості ГЗМ і генеративного ШІ 
зокрема. 


Автори продовжать дослідження та 
експерименти з ГЗМ для подальшого 
вдосконалення їх навчання і підвищення 
ефективності їх генеративного 
компонента. 
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